AI Papers Daily

#LLM control

2 篇

Compiling Autoregressive LLM Control into Policy-Exact Parallel Inference for Hierarchical RAG

将自回归LLM控制编译为策略精确的并行推理用于层级RAG

🧭 层级RAG控制并行编译 ★ 深度解读

MemTensor (Shanghai) Technology Co., Ltd. · China Haisum Engineering Co., Ltd. · The Hong Kong University of Science and Technology (Guangzhou) · Shanghai Jiao Tong University

把层级RAG受限解码编译为一次prefill+树因果probe，零输出token复制串行策略

📌 工作参考价值（4 点）

• 对电商/Agent里任何 bounded-horizon constrained LLM controller（选品、路由、工具/query推荐、多步筛选），可把动作空间编译成 action-prefix tree，用 root prefill + tree-causal probe 一次前向求出所有可达状态；零解码 token、深度-2，直接去掉 JSON 协议失败和串行延迟。
• 若业务上「顺序选择有历史依赖」但最终只取集合，可用 probe 计算 order-marginalized posterior，并用 branch-and-bound MAP certificate 得到精确集合选择；避免把顺序当成集合决策的 serialization artifact。
• 上线前用 interaction mass Iseq = KL(P_AR || P_U) 诊断历史依赖强度；若 Iseq 大，说明 unary logit shortcut 不能替代串行策略，可以用同一 probe 低成本判断何时需要保留自回归条件。
• 注意工程限制：bf16 下 near-tie 翻转与跨硬件/跨后端差异同量级；需要强 parity 就换 fp32 或对低 margin round 回退串行；horizon>3 时 probe 宽度阶乘增长，建议改成 staged/chunked 混合执行。

RAG | 2026-10-22 | cs.IR | score 8/10

Hierarchical RAGconstrained decodingtree attentionparallel inferenceLLM controlpolicy-exact

Fast & Faithful Function Vectors

快速且忠实的函数向量

🧭 LLM可解释性 · Function Vectors

Fraunhofer Heinrich-Hertz-Institute, Berlin, Germany · Technische Universität Berlin, Berlin, Germany · BIFOLD – Berlin Institute for the Foundations of Learning and Data, Berlin, Germany · Technological University Dublin, Dublin, Ireland

引入LRP归因与分布式引导，提升函数向量在LLM中的任务控制效率与准确率

📌 工作参考价值（4 点）

• 用LRP定位任务关键注意力头：可直接迁移到LLM推理优化中，通过LRP归因剪枝无关头，降低电商问答、文案生成场景的推理延迟。
• 分布式引导提升控制精度：在控制LLM生成时，将引导向量插入多层多头比仅在一层注入更有效，可改善商品详情生成的事实一致性和风格控制。
• 加速Function Vectors提取：LRP仅需少量样本即可识别有效头，大幅减少ICL示例数，适合电商中需频繁更新prompt的动态场景（如大促自动卖点生成）。
• 分析ICL任务表示的工具：方法可推广用于诊断LLM在推荐解释生成、用户意图分类中的任务编码方式，辅助Prompt工程与示例选择。

LLM | 2026-06-03 | cs.LG | score 7/10

function vectorsLRPattention headsin-context learningsteeringLLM control